寻找贝叶斯结构

Searching for Bayes-Structure

侏儒头盔本不该起作用。它们的构造方式本身似乎就违背了神术法则(thaumaturgical law)的本性。事实上,它们是不可能存在的。和大多数出自侏儒头脑的产物一样,它们装了大量花里胡哨的玩意,却几乎没有什么实质内容。那些真正能用的,通常都在内部藏着一个次级头盔,总是被隐藏起来,伪装得像是无害且无关紧要的部件。

——**《Spelljammer》**战役设定集

我们已经看到,知识意味着心智与其环境之间存在互信息;我们也已经看到,这种互信息是负熵,而且是在一种极其物理的意义上:如果你知道分子在哪里、移动得有多快,你就可以通过 Maxwell 的妖 / Szilárd 引擎,把热转化为功。

我们已经看到,没有证据而形成真实信念,其不可能性和一杯热水自发重组为冰块与电流,是同一种量级。理性在热力学意义上是要做“功”的,而不只是心理努力意义上的“费劲”;如果心智不是完美高效的,它就必须向外辐射热量。这种认知上的做功受概率论支配,而热力学只是概率论的一个特例。(统计力学是统计学的一个特例。)

如果你看到一台机器不断地转动轮子,看起来既没有插在墙上的电源插座上,也没有连接任何其他动力源,那你就会去寻找某块隐藏的电池,或者附近的无线供能源——总之,要找某种解释这项做功的东西,而且还不能违反物理定律。

所以,如果一个心智正在形成真实信念,而我们又假定热力学第二定律没有被违反,那么这个心智就一定在做某种至少隐约符合贝叶斯的事情——至少在某个地方,存在一个带有某种贝叶斯结构的过程——否则它根本不可能起作用。

一开始,在时间 T = 0 时,一个心智与其环境中的某个子系统 S 之间没有任何互信息。到了时间 T = 1 时,这个心智与 S 之间已经有了 10 比特的互信息。那么,在这前后之间的某处,这个心智一定接触到了证据——按贝叶斯对证据的定义来说,因为所有贝叶斯证据都是互信息,而所有互信息也都是贝叶斯证据,它们只是同一件事的不同视角——并且至少在某些时候,以某种低效但方向正确的方式处理了其中一部分证据。这个心智一定曾在某个环节、某个地方,稍微顺着贝叶斯而动——否则它就只能是通过无中生有地创造互信息,从而违反了热力学第二定律。

事实上,认知过程中的任何一个对发现真相有实际贡献的部分,都至少必须具备一点贝叶斯结构——必须在某个时候、某种程度上与贝叶斯相和谐——必须以某种哪怕极其嘈杂的方式,部分符合贝叶斯的流向——无论外面罩着多少伪装性的铃铛和哨子——哪怕这种贝叶斯结构只有在周围其他过程的语境中才显现出来。否则,它连帮忙都不可能

哲学家们曾怎样苦苦思索词语的本性啊!为了词语的真正定义定义的真正意义以及意义的真正意义,他们泼洒了多少墨水!他们在解释中搭建了多么庞杂的齿轮与轮轴装置!而原来,这一切从头到尾都只是伪装起来的 贝叶斯推断

其实,当时没有观众一下子跳起来说:“对!对!就是这个!当然了!原来从头到尾都是贝叶斯!” 这让我多少有点失望。

但或许,如果一件表面上看起来并不像贝叶斯的东西,最后被揭示为只是披上巧妙伪装的贝叶斯,这件事也就没那么令人兴奋——尤其是在以下情况下:(a)不是你自己解开这个谜,而是你读到别人替你解开它(Newton 玩微积分时比大多数学微积分的学生更开心),以及(b)你没有意识到,寻找隐藏的贝叶斯结构是一场如此巨大、艰难、无所不在的探索,就像寻找圣杯一样。

对于认知的每一个侧面,这都是一场不同的探索;但那个圣杯最后总会是同一个。不过,它必须是正确的圣杯——而且必须是完整的圣杯,任何一部分都不能缺失——所以每一次,你都必须真正踏上寻找完整答案的旅程,不管那个答案最终会以什么形式出现;而不是人为地拼凑出一些隐约像圣杯、却只会空泛挥手的论证。只有这样,你最后才总会找到同一个圣杯。

之前有人指出,我那些长篇随笔可能会让一部分读者跟不上,因为我没有“说清楚自己到底要去哪里”……

……但当你要去的地方是那种地方时,你很难直接告诉别人你到底要去哪里。

如果你并不知道某种认知形式究竟怎样是贝叶斯的,那么仅仅知道它是贝叶斯的,其实没多大帮助。如果你看不见概率在其中如何流动,那你手里有的只不过是一个口令——或者,说得更宽容一点,只是对答案会呈现何种形状的一点提示;但无论如何,那都不能算答案。这就是为什么,我们需要一场寻找隐藏贝叶斯结构的宏大探索,而不是在你喊出一句“贝叶斯!”之后一切就宣告结束。贝叶斯结构可以埋在各种伪装之下,藏在层层齿轮与轮轴之后,被铃铛和哨子遮得严严实实。

你开始把握这场寻找神圣贝叶斯的探索,是这样发生的:你去了解某种认知现象 XYZ,它看起来非常有用——而围绕它的真正本性,有一群哲学家已经争论了几个世纪,直到现在还在争——还有一群 AI 科学家试图让计算机把它做出来,但他们对背后的哲学也同样意见不合——

然后——咦,这可真奇怪!——这个认知现象表面上看一点也不像贝叶斯,可它底下却有一种并不显然、却能作贝叶斯解释的结构——等等,这里还有一些有用的工作似乎不能用贝叶斯来解释——不,等等,那也是贝叶斯——天哪,这个完全不同的认知过程,表面上同样不像贝叶斯,居然也有贝叶斯结构——且慢,这些非贝叶斯的部分到底真的有在做什么吗?

  • **有:**哇,那些也都是贝叶斯!

  • **没有:**老天,这是什么愚蠢的设计。我吞下一桶氨基酸,再吐出来,都能给你造出一个更好的大脑架构。

这种事在你身上发生过几次之后,你就会慢慢摸到那种节奏。我在这里想说的,就是那种节奏。

试图谈论这种节奏,就像试图用舞蹈来谈论建筑。

这让我在想要提前解释自己将去往何处时,陷入了一点窘境。我知道,凭经验来看,如果我说“贝叶斯是宇宙的秘密”,有些人会说“对! 贝叶斯就是宇宙的秘密!”;而另一些人则会嗤之以鼻,说:“你这人眼界也太窄了吧;看看我工具箱里这些别的临时拼凑、却惊人有用的方法,比如正则化线性回归我可是都备着呢。”

我原本希望,手里如果先有一个具体例子——“某样东西在表面上并不怎么像贝叶斯,但最后却原来还是贝叶斯”——再加上对口令与知识之别的解释——再加上对工具与法则之别的解释——也许那样,我就能传达出一点这种节奏;哪怕别人并没有亲自踏上那场探索之旅,也仍然能理解一点。

当然,这还远不是贝叶斯阴谋(Bayesian Conspiracy)的完整秘密,但在目前这个阶段,我能传达的也就这么多了。再说,完整的秘密只有贝叶斯议会才知道;如果我告诉了你,我就得雇你进来了。

看穿一种认知过程表面的权宜拼凑,直抵其下的贝叶斯结构——感知概率的流动,而且知道它如何是贝叶斯,而不只是知道它贝叶斯——知道这种认知也一样是贝叶斯,就像它总会如此、总必须如此——能够感受到一切认知之下的那股原力——这,就是贝叶斯之眼。

“……而 Kashfa 女王以蛇之眼视物。”

“我可不知道她是不是真的能用那只眼睛看见东西,”我说。“她做完手术后还在恢复。不过,这倒是个有趣的想法。如果她真能用它看见,她会看见什么呢?”

“我想,大概会看见永恒清晰而冰冷的线条吧。在一切阴影之下。”

——Roger Zelazny,《Prince of Chaos》1

Roger Zelazny,《Prince of Chaos》(Thorndike Press,2001)。 ↩︎

永动机信念

[还原论 101

(序列)][26]